Horowitz nói rằng ông sinh tại Kiev, Ukraina thuộc Đế quốc Nga[1] nhưng một số nguồn tin khác cho rằng Horowitz sinh tại Berdichev, Ukraina[2]. Trong một cuộc phỏng vấn năm 1991, bà Natasha Saitzoff - em họ của Horowitz - đã nói rằng bốn anh em Horowitz đều sinh tại Kiev[1], nhưng bà Wanda Toscanini - vợ của Horowitz lại tin rằng Horowitz sinh tại Berdichev[1].

Horowitz sinh năm 1903, nhưng bố ông đã khai sinh Horowitz năm 1904 để tránh nghĩa vụ quân sự nhằm giữ gìn đôi tay cho ông. Năm sinh giả (1904) vẫn còn được lưu trong một số tài liệu nhưng nguồn tin từ nhà chức trách và từ Horowitz đã khẳng định năm sinh là 1903.

Horowitz được mẹ (là một nghệ sĩ piano loại khá) dạy đàn từ khi còn nhỏ tuổi. Năm 1912 Horowitz theo học piano tại nhạc viện Kiev với các thầy Vladimir Puchalsky, Sergei Tarnowsky và Felix Blumenfeld. Ông tốt nghiệp nhạc viện năm 1919 và đã biểu diễn bản Piano concerto Số 3 cung Rê thứ viết cho piano và dàn nhạc của Rachmaninov. Horowitz biểu diễn solo lần đầu tiên vào năm 1920.

Sự nghiệp của Horowitz tiến triển rất nhanh; ông bắt đầu lưu diễn ở Nga và thường được trả thù lao bằng bánh mì, bơ và sô-cô-la do tình hình kinh tế khó khăn của Nga thời đó. Từ năm 1922-1923 ông đã có 23 buổi trình diễn với 11 chương trình khác nhau tại thành phố Leningrad. Ngày 2 tháng 1 năm 1926, Horowitz trình diễn ở Berlin, Đức. Đây là lần trình diễn đầu tiên ở nước ngoài của ông. Sau đó Horowitz đã lần lượt trình diễn ở Paris, London và New York. New York chính là nơi Horowitz chọn để định cư vào năm 1940. Ông trở thành công dân Mỹ năm 1944.